Agent Plasticity: Measuring Self-Improvement Through Experience
智能体可塑性：度量基于经验的自我改进效率
🧭 Agent 自改进评估 · plasticity ★ 深度解读
UC Berkeley · Meta Superintelligence Labs · University of Washington · Princeton University
提出 agent plasticity 指标，度量智能体将经验转化为留出性能增益的效率，并诊断改进瓶颈
📌 工作参考价值（4 点）
- 自改进 Agent 或线上学习链路不要只看最终指标；用「留出收益 / 累计学习成本」画 plasticity 曲线，能区分起点高但不会学和起点低但学习效率高的模型/策略。电商 Agent 迭代 prompt、tool、memory 时可按此评估 ROI。
- 把改进过程拆成持久化 artifact：tools / skills / memory，每个新 session 从 fresh context 开始并继承 artifact。这样可以隔离「记忆/工具沉淀」的贡献，适合做 A/B 或消融；对应搜索推荐 Agent 的 query 改写工具、规则库、用户画像缓存。
- 失败诊断用 F_absent / F_missed / F_used 分类：低复用率提示检索/部署问题，高复用但仍失败提示 artifact 质量/泛化/应用问题。上线前可对 Agent 失败 case 打标，选择不同干预，例如 RAG 召回优化 vs skill 重写。
- 评估 OOD 转移：除同分布 held-out 外，加入更难或更极端的流量层，如更强对手、长尾 query、大促场景，观测自我改进是否真正泛化，避免只在训练样本上打转。